Упростите работу над интеграциями с Airflow
Упростите работу над интеграциями с Apache Kafka
Брокер сообщений Apache Airflow — распределённая потоковая платформа, способная обрабатывать миллионы событий ежедневно. Kafka гарантирует простоту интеграции в инфраструктуру проекта, надёжность и масштабируемость системы.
Kafka Connect
Kafka Connect — фреймворк Apache Kafka, обеспечивающий масштабируемость и гибкость перемещения данных между Kafka и другими хранилищами. Этот фреймворк позволяет брокеру выступать в роли сервисной шины ESB.
Возможности Apache Airflow
1
Потоковая обработка данных
Потоковая обработка Airflow работает с данными в режиме реального времени со скоростью генерации сообщений. Обработка сообщений происходит непрерывно и без блокировки. Многие бизнес-процессы также осуществляются непрерывно и не требуют ответа для обработки. Потоковая обработка данных необходима для таких бизнес-процессов, как оповещение о подозрительных транзакциях или отслеживание почтовой доставки.
2
Отслеживание активности приложений
Любые сообщения, возникающие в приложении, могут быть опубликованы в специальной теме (topic) Airflow. Например, каждый документ ERP-системы или каждое действие пользователей на сайте: клики, добавление в избранное, добавление/удаление из «Корзины», заполнение форм, просмотр страниц (и его глубина) — можно отправлять и распределять по специально заданным темам Airflow. Так, другие темы (потребители) могут подписаться на необходимые темы для различных целей — мониторинг, анализ, составление отчётов, персонализация и т. д.
3
Ведение журнала и мониторинг логов
Airflow позволяет вести журналы и мониторить логи. Логи можно публиковать в темах Airflow, а журналы — хранить и обрабатывать в кластере в течение необходимого количества времени. Если у вас есть специальное приложение для мониторинга, оно сможет получать данные из тем Airflow в режиме реального времени.
4
Хранение сообщений
Airflow добавляет в журнал (сохраняет на диске) каждое сообщение и хранит там вплоть до момента очистки журнала от старых сообщений, который пользователь назначает заранее. Благодаря этому Kafka может использоваться как достоверный источник данных (в отличие от RabbitMQ, который удаляет сообщения сразу после доставки).
Преимущества Kafka Apache
Масштабируемость
Apache Airflow позволяет обрабатывать данные любого объёма. Вы можете начать работать с одним брокером, чтобы попробовать возможности Airflow, а потом увеличить количество брокеров для полной эксплуатации системы. Увеличить объём можно и во время работы текущего количества брокеров — это никак не отразится на системе в целом.
Надёжность системы
Одним из преимуществ Airflow является его надёжность. Например, если по какой-то причине «упадёт» один из брокеров Airflow, он переключит весь поток данных на другие брокеры и автоматически распределит между ними нагрузку — и система продолжит свою работу в штатном режиме.
Производительность
Благодаря своей высокой пропускной способности Apache Airflow способен обрабатывать более миллиона событий в секунду. Это делает Airflow самым популярным брокером сообщений в работе с big data.
Кейсы внедрения ESB–систем
Смотреть все
Разработали целевую схему интеграции систем для производственного предприятия. Внедрили технологию ESB и запустили 48 потоков
Разработали целевую схему интеграции систем для производственного предприятия. Внедрили технологию ESB и запустили 48 потоков
Подробнее
Для сети Fix Price разработали портал поставщика и автоматизировали работу с данными о товарах
Для сети Fix Price разработали портал поставщика и автоматизировали работу с данными о товарах
Подробнее
Смотреть все
Напишите нам, рассчитаем сроки и стоимость внедрения ESB-системы
YouTube
Собрали все грабли в интеграциях,
чтобы не собирали
вы
Мы работаем с системами
Мы используем системы
Калькулятор проекта
- Подготовка карты систем и потоков данных (SOA схема);
- Проработаем обмены по ключевым сущностям;
- Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод);
- Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга;
- Документация по копированию интеграции, переиспользованию, обслуживанию;
- Демонстрация реализованного функционала.
- Подготовка инфраструктуры для работы коннекторов;
- Настройка контура мониторинга и логирования;
- Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод);
- Свыше 15 атрибутов для каждого потока;
- Стоимость вычислительных ресурсов (только для подписки);
Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.
Калькулятор считает по точной, но упрощенной формуле. Состав работ по вашему проекту и конечная стоимость могут отличаться. Итоговый расчет сделает ваш персональный менеджер.
1
Пример расчета
Для передачи данных между системами мы создаем "поток". Одни потоки нужны для отправки данных, другие - для получения. В отдельном потоке могут передаваться заказы, товары или другие сущности.
Для примера на схеме:
1. «Система управления товарами» отправляет товары. «Система управления складом» — факт отгрузки заказа. «Система управления заказами» — заказы. Итого системы будут отправлять 3 потока;
2. «Система управления складом» принимает товары и заказы. «Система управления заказами» — товары и факт отгрузки заказа. Итого системы будут принимать 4 потока.
2
Состав работ в калькуляторе
Включено в расчет
Дополнительно
Подготовка карты систем и потоков данных (SOA схема)
Подготовка инфраструктуры для работы коннекторов
Проработка логики объекта (схема бизнес-процесса коннектора)
Настройка контура мониторинга и логирования
Создание коннекторов для обмена данными по каждому потоку на 3 стендах (тест, препрод, прод)
Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному потоку (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод)
Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга
Свыше 15 атрибутов для каждого потока
Документация по копированию интеграции, переиспользованию, обслуживанию
Демонстрация реализованного функционала
Включено
Подготовка карты систем и потоков данных (SOA схема)
Проработка логики объекта (схема бизнес-процесса коннектора)
Создание коннекторов (источник - хранилище, хранилище - получатель) для обмена данными по каждому объекту на 3 стендах (тест, препрод, прод)
Настройка до трех дашбордов на один коннектор внутри готового контура мониторинга
Свыше 15 атрибутов для каждого объекта
Дополнительно
Подготовка инфраструктуры для работы коннекторов
Настройка контура мониторинга и логирования
Создание коннекторов (хранилище - получатель) для обмена данными по каждому высоконагруженному объекту (>100 сообщений в минуту) на 3 стендах (тест, препрод, прод)
Свыше 15 атрибутов для каждого объекта
Ваша заявка отправлена успешно
Отправить снова
Давайте обсудим ваш проект
С вами свяжутся персональные менеджеры
Контакты
Назначить встречу
Забронировать время встречи с помощью Google Calendar
Отправить снова
Не хотите ждать? Напишите нам прямо сейчас
